本发明公开了一种立体编、解码装置和系统,编码装置包括若干对相同且独立的编码器,每个对编码器包含一个左视角和右视角通道,每个通道包括以下模块:奇偶帧分离模块、CS编码器、标准编码器和模式选择模块,左视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,奇数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,偶数帧经过标准编码器编码得到关键帧;右视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,偶数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,奇数帧经过标准编码器编码得到关键帧。本发明还提供了一种解码装置和系统。可应用于多目或双目立体显示产品。
1.一种立体编码装置,其特征在于:包括若干对相同且独立的编码器,每个对编码器包含一个左视角和右视角通道,每个通道包括以下模块:奇偶帧分离模块、CS编码器、标准编码器和模式选择模块,左视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,奇数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,偶数帧经过标准编码器编码得到关键帧;右视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,偶数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,奇数帧经过标准编码器编码得到关键帧。
2.如权利要求1所述一种立体编码装置,其特征在于:所述立体编码为多视角多目编码或双视角双目编码。
3.如权利要求1所述一种立体编码装置,其特征在于:所述模式选择模块包括SKIP模式,首先计算当前块与其相邻关键帧中同一位置的块之间的均方误差,如果该值小于阈值t0,则当前块被跳过,没有任何测量值需要传输。
4.一种立体解码装置,其特征在于:包括若干对相同且独立的解码器,每对解码器包含一个左视角和右视角通道,每个通道包括以下模块:CS重构模块、标准解码器、联合字典和奇偶帧交织,接收到的CS帧通过CS重构模块得到奇数帧,接收到的关键帧通过标准解码器得到偶数帧,奇数帧和偶数帧通过奇偶帧交织后得到左视角视频序列输出;接收到的CS帧通过CS重构模块得到偶数帧,接收到的关键帧通过标准解码器得到奇数帧,奇数帧和偶数帧通过奇偶帧交织后得到右视角视频序列输出;通过不同视角标准解码器解码后的数据相关性得到联合字典,联合字典用于控制CS重构模块。
5.如权利要求4所述一种立体解码装置,其特征在于:所述立体解码为多视角多目解码或双视角双目解码。
6.一种立体编解码系统,其特征在于:由权利要求1~3之一所述一种立体编码装置和权利要求4~5之一一种立体解码装置构成。技术领域
本发明涉及视频编解码技术领域,尤其涉及一种立体编码、解码装置及系统。
背景技术
由于三维视频能够为用户提供高质量和沉浸式的多媒体体验,已经吸引了工业界学术界广泛的研究兴趣。三维视频一般分为N个视角的多目(Multiview)视频表示和两个视角的双目(Stereo-view)视频表示。双目视频的基本格式包括左视角和右视角,是由两台距离相近的摄像机同时获取的。考虑到双目视频的简洁性和实用性,目前双目视频是三维视频市场上最为广泛应用的格式。然而,双目或多目视频巨大的数据量给三维视频应用提出了更大的挑战,例如在数据获取、压缩及传输方面,尤其是应用于无线视频传感器网络。在很多应用中,鉴于摄像机较低的功耗,要求使用低复杂度的视频编码并且摄像机之间不能进行信息传输。因此,有必要开发一种系统兼具高压缩效率和低复杂度同时摄像机之间没有通信。近年来,ITU-T的VCEG组织和ISO/IEC的MPEG组织已经提出了H.264/MPEG-4xa0AVC的扩展标准,用来实现多目视频编码(Multiviewxa0videoxa0coding,简称MVC)。MVC的基本思想也是基于块的预测编码,能够很好的利用视角间相关性和同一视角的时域相关性。根据视角间相关性和同一视角时域相关性,一种自适应预测结构的双目视频编码在“L.Meng,Y.Zhao,A.Wang,J.Panxa0andxa0H.Bai,“Compatiblexa0Stereoxa0Videoxa0Codingxa0withxa0Adaptivexa0Predictionxa0Structure,”IEICExa0Trans.onxa0Informationxa0andxa0Systems,vol.E94-D,no.7,pp.1506-1509,2011.”中提出。另外,“L.Ding,S.Chienxa0andxa0L.Chen,“Jointxa0Predictionxa0Algorithmxa0andxa0Architecturexa0forxa0Stereoxa0Videoxa0Hybridxa0Codingxa0Systems,”IEEExa0Trans.onxa0Circuitsxa0andxa0Systemsxa0forxa0Videoxa0Technology,vol.16,no.11,pp.1324-1337,2006.”中也提出了一种联合预测算法来设计双目视频编码器。虽然上述算法获得了较高的压缩效率,但是,视频编码器需要较高的功耗来支持预测编码,并且摄像机之间也需要传输信道进行通信。在实际应用中,很难提供摄像机之间的通信信道。
发明内容
本发明解决的技术问题在于如何降低视频编码功率,并且摄像机之间不需要传输信道进行通信。为了解决以上问题,一种立体编码装置,其特征在于:包括若干对相同且独立的编码器,每个对编码器包含一个左视角和右视角通道,每个通道包括以下模块:奇偶帧分离模块、CS编码器、标准编码器和模式选择模块,左视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,奇数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,偶数帧经过标准编码器编码得到关键帧;右视角信号经过奇偶帧分离模块后分离成奇数帧和偶数帧,偶数帧经过CS编码器编码得到CS码,模式选择模块用于控制CS编码器工作模式,奇数帧经过标准编码器编码得到关键帧。进一步,作为一种优选方案,所述立体编码为多视角多目编码或双视角双目编码。进一步,作为一种优选方案,所述模式选择模块包括SKIP模式,首先计算当前块与其相邻关键帧中同一位置的块之间的均方误差,如果该值小于阈值t0,则当前块被跳过,没有任何测量值需要传输。本发明还提供了一种立体解码装置,包括若干对相同且独立的解码器,每对解码器包含一个左视角和右视角通道,每个通道包括以下模块:CS重构模块、标准解码器、联合字典和奇偶帧交织,接收到的CS帧通过CS重构模块得到奇数帧,接收到的关键帧通过标准解码器得到偶数帧,奇数帧和偶数帧通过奇偶帧交织后得到左视角视频序列输出;接收到的CS帧通过CS重构模块得到偶数帧,接收到的关键帧通过标准解码器得到奇数帧,奇数帧和偶数帧通过奇偶帧交织后得到右视角视频序列输出;通过不同视角标准解码器解码后的数据相关性得到联合字典,联合字典用于控制CS重构模块。本发明还提供了由以上编码装置和解码装置构成的一种立体编解码系统。通过采用独立的低复杂度的编码器,降低视频编码功率,并且摄像机之间不需要传输信道进行通信。
附图说明
当结合附图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其中:图1基于联合字典的分布式压缩感知双目视频编码系统框图;图2xa0SINGLE模式中的参考块;图3率失真性能比较:(a)“rabbit”;(b)“soccer”。
具体实施方式
以下参照图1-3对本发明的实施例进行说明。为使上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。由于对每个视角采用了同样的处理方法,所以本实施例很容易扩展到多视角视频编码。考虑到低复杂度的编码器设计,每个视角先按照奇偶帧分离得到视频子序列,然后这些视频子序列分别作为分布式压缩感知编码的CS帧和关键帧。设计解码器时,利用视角间相关性和同一视角时域相关性可以使关键帧生成联合字典,有利于获得更好的重建结果。实施例1一种立体编码装置,包括若干对相同且独立的编码器10,每个对编码器10包含一个左视角和右视角通道,每个通道包括以下模块:奇偶帧分离模块1、CS编码器3、标准编码器4和模式选择模块2,左视角信号经过奇偶帧分离模块1后分离成奇数帧和偶数帧,奇数帧经过CS编码器3编码得到CS码,模式选择模块2用于控制CS编码器3工作模式,偶数帧经过标准编码器4编码得到关键帧;右视角信号经过奇偶帧分离模块1后分离成奇数帧和偶数帧,偶数帧经过CS编码器3编码得到CS码,模式选择模块2用于控制CS编码器3工作模式,奇数帧经过标准编码器4编码得到关键帧。如图1所示,在编码端,每个视角独立编码,两个视角之间不需要通信。实施例2一种立体解码装置,包括若干对相同且独立的解码器20,每对解码器20包含一个左视角和右视角通道,每个通道包括以下模块:CS重构模块6、标准解码器5、联合字典7和奇偶帧交织8,接收到的CS帧通过CS重构模块6得到奇数帧,接收到的关键帧通过标准解码器5得到偶数帧,奇数帧和偶数帧通过奇偶帧交织8后得到左视角视频序列输出;接收到的CS帧通过CS重构模块6得到偶数帧,接收到的关键帧通过标准解码器5得到奇数帧,奇数帧和偶数帧通过奇偶帧交织8后得到右视角视频序列输出;通过不同视角标准解码器5解码后的数据相关性得到联合字典7,联合字典7用于控制CS重构6模块。CS编码器和CS重构工作原理如下:假设x∈Rⁿ是一个离散信号,u是其在某个正交基Ψ下的系数,则x=Ψ^Tu。这里,如果n个系数中只有k个系数为非零元素,则称x在某个正交基Ψ下为k稀疏。根据CS理论,不需要像传统编码器那样去编码k个非零系数,CS编码器的流程如下。y=Φxxa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(1)这里Φ是m×n矩阵,y∈R^m。因为m1,subjectxa0toxa0y=ΦΨ^Tuxa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(2)然后根据x=Ψ^Tu,最终重建原始信号x。本实施例中,对于需要编码为CS帧的那些帧按照分块进行处理,块大小为16×16。每个块可以按照行扫描排列为一个n×1的列向量x,这时n=256。矩阵Φ的每一行为对称独立Bernoulli分布的取样点,即每行中的元素为±1,其中+1和-1的概率为1/2。需要注意的是,对于所有的块使用同一个矩阵Φ,从而保证了计算的低复杂度。根据公式(1),可以得到测量值为y,是一个m×1的列向量。然后y经过标量量化后在信道上传输。本专利在CS重构中,没有使用固定的正交基Ψ,而是具体设计了联合字典作为Ψ。具体的恢复算法使用了通用的log-barrier算法来求解公式(2)。联合字典生成原理如下:根据CS理论,矩阵Ψ的选取应该使得信号在该正交基下面满足最大化的稀疏性,从而能够有效减少传输的测量值数量。在大多数CS应用中,使用了固定的正交基作为Ψ,例如离散余弦变换或是离散小波变换。考虑到视频信号的时域相关性,当前块能够被其参考块进行预测。因此,如果当前块用其参考块的线性组合来表示的话,则当前块可以看作稀疏信号。对于3维视频而言,视角间也具有很大的相关性。因此,本专利在设计每个块的字典Ψ时,利用视角间相关性和同一视角的时域相关性来设计联合字典。例如,如果当前块x位于左视角的奇数帧Fk,则左视角偶数帧Fk+1中的参考块和右视角奇数帧Fk中的参考块都将用作生成联合字典。所选取的参考块是以当前块x的位置为中心,在参考帧中选取窗口大小为w×w中的所有可能的块。将所选择的块按照行扫描后作为联合字典矩阵Ψ的一列。模式选择原理如下:为了提高率失真性能,本专利在编码器端设计了三种模式。模式1为SKIP模式。首先计算当前块与其相邻关键帧中同一位置的块之间的均方误差(meanxa0squarexa0error,简称MSE)。如果该值小于阈值t0,则当前块可以被跳过,没有任何测量值需要传输。对于SKIP模式的解码,只需要拷贝其相邻关键帧的同一位置块即可。模式2为SINGLE模式。对于帧Fk中当前块x,可以选择其在相邻关键帧Fk+1中的4个参考块xt,xb,xl及xr如图2所示。这4个参考块可以从以x位置为中心,大小为w×w的窗口中选取。假设4个参考块相对于x的偏移量为p,则w=2p+1。然后可以计算x与4个参考块之间的最小均方误差(minimumxa0MSE,简称MMSE)。如果该值小于阈值t1,则块x可以使用m1个测量值进行CS编码。否则,需要使用m2(m2>m1)个测量值编码块x,这时做为模式3即L1模式处理。在SINGLE模式下,CS重构时,将先比较所收到的m1个测量值与字典中每列所代表的参考块的测量值,选择其中具有最小均方误差的块作为CS重构的块。SINGLE模式有效降低了解码端的复杂度。在L1模式下,CS重构将使用所收到的m2个测量值求解公式(2)。参考图3,这里选择了两个标准视频序列“rabbit”和“soccer”来测试本专利的系统.这两个测试序列的分辨率为720×480帧率为每秒30帧。标准编解码器采用的是H.264编码器的JMxa010.2版本。为了证明联合字典的性能,在CS编码器和H.264编码器中选择了同样的实验参数。从图3中可以看到,所提出的系统相比没有使用联合字典(仅由同一视角的相邻关键帧构成字典)的系统具有更好的性能:在图3(a)中对于视频序列“rabbit”所提出的方案获得了在PSNR值方面获得了约0.5dB的增益;在图3(b)中对于视频序列“soccer”的增益超过了0.5dB。其原因可能是视频序列“soccer”具有更快的运动所以导致了视角间的相关性比时域相关性更大,从而考虑视角间相关性和时域相关性的联合字典获得了更好的性能。另外,从图3中可以看到对于视频序列“rabbit”在码率为50-300kbps范围内PSNR值有0.5-1dB的增益,对于视频序列“soccer”在码率为200-1800kbps范围内PSNR值有0.5-1dB的增益。如上所述,对本发明的实施例进行了详细地说明,但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形,这对本领域的技术人员来说是显而易见的。因此,这样的变形例也全部包含在本发明的保护范围之内。